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Beschreibung 

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bilddatenreduktion fur digitale Ferns ehsign ale, 
wobei in einer Vorverarbeitung eine Differenzbildung zwischen einem Signal, das zu einem Zettpunkt t-1 
5 erzeugt und in einem Bildspeicher abgelegt wurde, und einem Signal, das zu einem Zeitpunkt t entsteht, 
durchgefiihrt wird, so daB durch diese Vorverarbeitung ein Bild-zu-Bild-Pradiktionsfehlersignal gebildet wird, 
wobei das derart gebildete Bild-zu-Bild-Pradiktionsfehlersignal in Form eines Fehlerbildes zu dessen Ubertra- 
gung zu codieren ist. 

In kiinftigen Bildtelefonnetzen im Rahmen des Schmalband ISDN wird es erforderlich sein, Videosignale 
10 (Sprecherszenen mit eingeschranktern Bewegtanteil) bei einer vorgegebenen Kanalrate von nur 64 kbit/s zu 
ubertragen. Dies entspricht einer Datenkornpression urn etwa den Faktor 110, was extreme Anforderungen an 
den zu verwendenden Bildsignal-Codec stellL 

Die auf dem Markt erhaltlichen Codecs, welche den genannten Anforderungen genugen, haben etwa die 
mechanischen Abmessungen einer sog. MICROVAX, eine Leistungsaufnahme von 1 kW und einen Preis von 
15 mehreren zehntausend Dollar. . 

Die geplanten Bildtelefonnetze mit den zugehorigen Endgeraten werden sich jedoch nur dann in breitem 
Rahmen durchsetzen und wirtschaftlich interessant sein. wenn es gelingt mechanische Abmessungen, Leistungs- 
aufnahme und Preis der neuen Endgerate mit den zugehorigen Bildsignal-Codecs im Rahmen der heme ge- 
brauchlichen Fernsprech- Endgerate zu halten. Betrachtet man den Realisierungsaufwand fur die bekannten 
20 Verfahren zur Bilddatenkompression, so ist abzusehen, daB dieses Ziel setbst bei hochst optimistischer Einschat- 
zung der Entwicklung zukunftiger Integrationsdichten im Falle des benotigten Bildsignal-Codecs nicht erreicht 
werden kann. 

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein neues Verfahren und eine Schaltungsanordnung 
zur Bilddatenkompression zu schaffen, dessen Funktionsprinzip eine Verbesserung der Bildqualitat gegeniiber 
25 bekannten Verfahren und Schaltungsanordnungen ermoglichen soli. 

Diese Aufgabe wird durch ein Verfahren mit Merkmalen nach Anspruch 1 gelost. 

Im folgenden wird die Erfindung anhand mehrerer Figuren im einzelnen beschrieben. 

Fig. 1 zeigt ein Prinzipschaltbild eines Szenencodierers mit bewegungskompensierterzeitlicher DPCM. 

Fig. 2 zeigt ein aktuelles Bild aus einer Testszene "SIMPLE". 
30 Fig. 3 zeigt das zeitliche Vorgangerbild zum Bild gemaB Fig. 2. 

Fig. 4 zeigt ein beweguogskompensiertes Differenzbild. 

Fig. 5 zeigt eineschematische Darstellung mit einer Objektrandkurve mit beschreibendem "Quadtree". 
Fig. 6 zeigt schematisch ein Grundelement (Hauptquadrat) eines "Quadtree" mit den vier Unterquadraten 1, II, 
III, IV. 

35 Fig. 7 zeigt ein Blockschaltbild eines QSDPCM-Coders. 

Fig. 8 zeigt ein Blockschaltbild eines QSDPCM-Decoders. 

Fig. 9 zeigt eine Darstellung verschiedener Architektur-Grundelemente. 

Fig. 10 zeigt ein Blockschaltbild eines sog. Mean-Prozessors. 

Fig. 1 1 zeigt ein Blockschaltbild einer QSDPCM-CPU. 
40 Fig. 12 zeigt eine schematische Darstellung des sukzessiven Zusammenfassens von Teilgebieten durch die 
QSDPCM-EPUFig. 11. 

Fig. 13 zeigt schematisch einen Quantisierer und dessen Quantisiererkennlinie. 

Fig. 14 zeigt das Blockschaltbild einer Bitabzahl-Logik. 

Fig. 15 zeigt schematisch die Organisation eines Bildspeichers. 
45 Fig. 1 6 zeigt ein Zeitdiagramm fur eine variable Codierzeit 

Fig. 17 zeigt ein Diagrammdes Puff erf iillstandes eines Pufferspeichers fur das in Fig. 16 gezeigte Beispiel. 

Fig. 18 zeigt ein Diagramm betreffend die Anzahl von fortgelassenen Bildern iiber den iibertragenen Bildem 
fur die Sequenz "SIMPLE". 

Fig. 19 zeigt ein Diagramm iiber den Verlauf des "MSE" iiber den iibertragenen Bildern fur die Sequenz 
so "SIMPLE". 

Fig. 20 zeigt ein Diagramm betreffend die Anzahl der fortgelassenen Bilder iiber den iibertragenen Bildern fur 
eine Sequenz "MISS AMERICA". 

Fig. 21 zeigt diagrammartig den Verlauf des "MSE" iiber den iibertragenen Bildern fur die Sequenz "MISS 
AMERICA". 

55 Fig. 22 zeigt ein aktuelles Bild aus der Sequenz "SIMPLE" (codiert). 

Fig. 23 zeigt das Vorgangerbild zu dem Bild gemaB Fig. 22 aus der Sequenz "SIMPLE" (codiert). 

Fig. 24 zeigt eine bildhafte Darstellung einer codierten Interframe- Information (4-fach verstarkt). 

Fig. 25 zeigt eine Quadtree-Struktur der Interframe-lnformation. 

Fig. 26 zeigt ein aktuelles Bild aus der Sequenz "MISS AMERICA" (codiert). 
60 Fig. 27 zeigt das Vorgangerbild zu dem Bild gemaB Fig. 26 (codiert). 

Fig. 28 zeigt eine Darstellung der codierten Interframe-lnformation (4-fach verstarkt). 

Fig. 29 zeigt die Quadtree-Struktur der Interframe-lnformation. 

Fig. 30 zeigt eine Koeffizientenmaske mit Koeffizienten A 1, A 2, A 3, A 4, A 5, A 6. 

Fig. 31 zeigt eine spiralfdrmige AdreBsequenz fur eine y-x-Verschiebung. 
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Die Quadtree-Datenstruktur 
Die vorliegende Erfindung geht von einer sog. Quadtree-Struktur aus. Die Quadtree-Datenstruktur erlaubt 
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die Segrnentierung eines zweidimensionalen, ortsdiskreten Gebietes in regulare (quadratische) Suchgebiete 
variabler BlockgroBe, deren Inhalt jeweils durch gemeinsame Eigenschaften charakterisiert werden kann. Quad- 
trees ermoglichen somit auch die Beschreibung komplizierter Objektrandkurven, vergl. Fig. 5. 

Als Grundelement der Quadtree-Struktur gilt ein Quadrat mit der Kantenlange k, welches in vier gleichgroBe 
Quadranten I, II, III, IV unterteilt sein kann oder als Einheit verbleibt vergl. Fig. 6. 5 
Ein Quadtree laBt sich grundsatzlich auf zwei unterschiedliche Arten konstruieren: 

1. Top Down — 

Der Quadtree entsteht durch hierarchische Unterteilung von Hauptquadraten in jeweils vier Unterquadrate, 
welche im nachsten Schritt wieder als Hauptquadrate behandelt werden. to 

2. Bottom Up — 

Der Quadtree entsteht durch hierarchisches Zusammfassen von vier Unterquadraten zu jeweils einem gemeisa- 
men Hauptquadrat, welches im nachsten Schritt wieder als Unterquadrat behandelt wird. 

Die Entscheidung, ob zusammgefaBt (Bottom Up-Methode) oder unterteilt (Top Down-Methode) werden soil, 15 
fallt bei beiden Entwurfsmethoden durch folgenden Hypothesentest: 
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Hypothese 1 : 

Die vier Unterquadrate 1, 1 1, III und IV verhalten sich gleich im Sinne einer vorgegebenen Eigenschaf L 
Hypothese 2: 

Die vier Unterquadrate verhalten sich unterschiedlich im Sinne derselben Eigenschaft 

1st die Hypothese 2 erfullt, so bleiben die vier Unterquadrate erhalten, andernfalls verschmelzen die vier 
Unterquadrate zu einem Hauptquadrat 25 

Einzelbildcodierung mit Quadtrees 

Die Einzelbildcodierung mit Quadtrees wird bereits seit langerer Zeit verfolgt, vergl. z. B. C. H. Shaffer and H. 
Samet, "Optimal quadtree constructions algorithms", Comp. Vision, Graphics and Image Processing, Vol. 37. pp. 30 
402—419, 1987; L. L. Jones and S. S. Iyengar, "Space and time efficient virtual quadtrees", IEEE Trans. on.Pattern 
Analysis and Machine Intelligence, Vol. PAMI-6, No. 2, pp. 244-247, 1984; A. Klinger and C. R. Dyer, "Experi- 
ments on picture representation using regular decomposition", Computer Graphics and Image Processing, 
Vol. 25, pp. 68—105, 1976; Y. Cohen. M. S. Landy and M. M. Pavel, "Hierarchical coding of binary images", IEEE 
Trans, on Pattern Analysis and Machine Intelligence, Vol. PAMI-7. No. 3. pp. 284—298, 1985; D. S. Scott and S. S. 35 
Iyengar, "A new data structure for efficient storing of images", Pattern Recognition Letters, VoL 3. pp. 21 1 —214, 
1985; D. J. Vaisey and A. Gersho, "Variable block-size image coding", Proc. Int. Conf. on ASSP, pp. 1051 — 1054, 
Dallas, 1987. 

Weiterhin ist aus der WO 86/04757 ein Verfahren zur Datenreduktion fur Videosignale bestehend aus einer 
zeitlichen Folge digitaler Bilder auf der Grundlage der Differenz-Puls-Code-Modulation bekannt, wobei dort 40 
auch Differenzbilder als Quadtree-Strukturen codiert werden. 

Im folgenden soil auf eine Methode eingegangen werden, bei der der Mittelwert aller Pixel in einem Block zur 
Konstruktion der Quadtrees herangezogen wird. 

Sei 

45 

m (3 D 

der Mittelwert des Bildsignals {s} im Hauptquadrat, welches durch die Indexmenge 50 
ijEfm) (3J2) 

bestimmt ist. Ferner hat man noch die Mittelwerte der Unterquadrate Mi, Mn, Mm und Mrv zur Verfiigung. Nun 
erhalten die Hypothesen folgende Gestalt: 55 

Fur den Fall 

(|M/4-Mi|>a) V (|M/4-Mn|>a) V (|M/4-M m | > a) V (|M/4-M !V | > a)-. true. (33) 

60 

entscheidet man sich fur Hypothese 2 (Unterquadrate bleiben erhalten), andernfalls fallt die Entscheidung zu 
Gunsten der Hypothese 1, wobei a eine vorgegebene Schwelle isL Dieses Verfahren verdient die Bezeichnung 
"Gleichanteilsdekomposition" da das Bild in Gleichanteile verschiedener FlachengroBe zerlegt wird. Das Bild 
laBt sich beliebig genau approximieren, wenn nur die Schwelle a gentigend klein gewahlt wird. Das Verfahren 
erreicht eine hohe Datenkompression in homogenen Bereichen, wahrend detailreiche Gebiete auf feine Quad- 65 
trees, und damit auf eine geringe Datenkompression fuhrea Das Verfahren eignet sich besonders fur die 
Codierung von Bildern mit linienartigen Strukturen.zwischen denen sich weite homogene Flachen erstrecken. 
Ein weiterer interessanter Effekt bei diesem Verfahren ist der geringe Rechenaufwand zur Berechnung der 
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Quadtrees. Wahlt man die Bottom Up-Realisierung, so konnen die benotigten Mittelwerte in jeder Hierarchie- 
stufe des Verfahrens uber die Formel 

M = Mi + Mu + Mm + Miv (3.4) 

rekursiv berechnet werden. Der erforderliche Rechenaufwand zur Konstruktion des Quadtrees betragt daher 
unabhangig vom Datenmaterial in jedem Fall nur eine Addition pro Pixel, zuzuglich der Entscheidungsoperatio- 
nen aus Formel (33). 

Szenencodierung mit Quadtrees — Das ASDPCM-Verfahren 

Im vorstehenden wurde die regulare Gieichanteilsdekomposition als ein mogliches Verfahren zur Einzelbild- 
codierung betrachtet Nun stelit sich die Frage, inwieweit sich dieses Prinzip auf die Szenencodierung erweitern 
laBt und insbesondere, inwieweit die besonderen Eigenschaften der quadtreebasierten Gieichanteilsdekomposi- 
tion (z. B. hohe Datenkompression bei Linienbildern) vorteilhaft in der Szenencodierung genutzt werden kon- 
neru . 

Es ist zunachst festzustellen, daB einzelne Bilder aus einer Szene in hohem MaBe statistisch abhangig sind, d. h. 
nur geringe Anteile eines aktuellen Bildes weisen Veranderungen verglichen mit seinem zeitlichen Vorganger- 
bild auf. Diese Veranderungen mussen codiert werden (Interframecodierung). Sie sind meist nur die Folge einer 
Bewegung der aktiven Objekte der Szene. Wenn es nun gelingt, diese Objektbewegungen in zeitlich aufeinan- 
derfolgenden Bildern wenigstens annahernd zu kompensieren, so erhalt man ein Differenzbild, welches nur an 
den Objektrandern signifikante Amplituden aufweist. Zwischen diesen Randlinien erstrecken sich weitgehend 
homogene Flachen. Es sei an dieser Stelle an die besonders gunstigen Datenkompressionseigenschaften der 
Gieichanteilsdekomposition bei so gearteten Bildern erinnert 

Die Formeln fur die Gieichanteilsdekomposition im Szenenfall (Interframemodus) lauten also: 



Mix.y) = XZM'W) - *,.,(/ -x.j-y)] (4.1) 

|m| 

30 

wobei \sx\ und |s ( _ i) die zeitlich aufeinanderfolgenden Bilder und 
z = [x.y] T (4.2) 

35 der Bewegungsvektor ist, welcher fur ein Gebiet {m} gilt Die Entscheidungen zur Konstruktion des Quadtrees 
erhalt man nach wie vor durch An wendung der Beziehung (3.3) mit anschlieBendem Test. 

Das bis jetzt geschilderte Vorgehen wurde zunachst ein eigenes Verfahren fur die Bewegungskompensation 
mit anschlieflender Gieichanteilsdekomposition (z. B. an Stelle einer Transformation) erfordern. Es ist jedoch 
ersichtlicrudaB eine Bewegungskompensation auf einen umso "einfacheren" Quadtree fiihrtje vollkommenersie 

40 ausgefuhrt wurde. Im Grenzfall, d. h. bei einer perfekten Bewegungskompensation wiirden die bewegten Berei- 
che in aufeinanderfolgenden Bildern exakt zur Deckung gebracht, wodurch das Differenzbild iiberall den Wert 
Null annimmt. Von den beschreibenden Quadtree bliebe dann nur noch das groBe Hauptquadrat ubrig. 

Die Definition der "Einfachheit" eines Quadtree ist also zunachst zweckmafligerweise die Anzahl seiner 
Subgebiete. 

45 Da zu erkennen ist, daB eine gute Bewegungskompensation auf einen einfachen Quadtree fuhren muB, ist es 
folgerichtig, zu untersuchen, inwieweit sich dieser SchluB auch umkehren laBt. Es stelit sich die Frage, ob es 
demzufolge auch moglich ist, den optimalen Bewegungsvektor (d. h. die optimale Verschiebung des Bildaus- 
schnitts im Vorgangerbild) dadurch zu ermitteln. daB man die Gleichanteilsdekompensation fur alle moglichen 
Verschiebungen x und y eines Suchbereiches durchfuhrt und schlieBlich diejenige Verschiebung als die geschatz- 

50 te Bewegung einsetzt, fur die die Anzahl der Subgebiete des zugehorigen Quadtree ein Minimum annimmt In 
der Tat zeigte sich im Experiment, daB dieses Vorgehen sehr gute Ergebnisse liefert Die Bewegungen in der 
rekonstruierten Szene behalten ihren naturlichen Charakter, wahrend die Anzahl der Subgebiete in den Quad- 
trees durchschnittlich 30% geringer war als bei Anwendung der eingangs erwahnten "Hybridkonzepts" mit 
Blockmatching und anschlieflender Gleichanteilsdekompensation. Dies ist eine bedeutende Aussgage, denn 

55 schlieBlich ist die Anzahl der Subgebiete wenigstens annahernd ein MaB fur die Anzahl der Bits, welche fur die 
. Codierung der Interframe-Information benotigt werden. Diese neue Methode der "Quadtree Structured Diffe- 
rence Pulse Code Modulation" (QSDPCM) ist auch vom Aufwand her zu rechtfertigen. So benotigt man fur die 
Berechnung samtlicher moglicher Quadtrees in einem Suchbereich nach der Bottom Up-Methode nur n 2 
Festkommaaddition, wenn der Suchbereich n x n Pixelverschiebungen umfaBt So ergibt sich beispielsweise bei 

60 einem Suchbereich von 11x11 ein Rechenaufwand von nur 121 Festkommaadditionen pro Pixel fur das 
QSDPCM-Verfahren. 

Nachdem nun mit der Minimierung der Anzahl der Subgebiete eines Quadtrees schon ein sehr gutes (im Sinne 
einer hohen Datenkompression) neues FehlermaB fur die (implizite) Bewegungsschatzung eingefuhrt ist, muBte 
es nun auch moglich sein, in einem letzten Schritt denjenigen Quadtree und zugehorigen Bewegungsvektor zu 
65 ermitteln, welcher tatsachlich auf ein Minimum der Anzahl der zu ubertragenden Bits fuhrt Ein solches Verfah- 
ren miiBte — verglichen mit herkommlichen Methoden der Bewegungsschatzung — gute Datenkompressionsei- 
genschaften aufweisen, denn es wird ja direkt die Update-Information (in Bits) minimiert Tatsachlich ist es von 
der Minimierung der Subgebiete eines Quadtrees nur noch ein weiterer Schritt bis zu einem Verfahren, welches 
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den Quadtree mit zugehdrigem Bewegungsvektor so entwirft. daB die zu ubertragende Update(interframe-)In- 
formation (in Bits) minimal wird. Dazu wird zunachst das QSDPCM-Verfahren mit der Minimierung der 
Subgebiete als FehlermaD an einer typischen Szene durchgefuhrt Die sich ergebenden Mittelwerte in den 
Subgebieten,dieQuadtreecodes und auch die geschatzten Bewegungsvektoren werden gespeichert und schlieB- 
lich optimal (Huffman) codiert. Die sich ergebenden Codetabellen werden schlieBlich in das Verfahren etnge- 5 
setzt. Im endgiiltigen Betrieb kann das Verfahren nun fur jede Verschiebung die gesamte Interframe-Informa- 
tion berechnen, indem nicht die Anzahl der Subgebiete. sondern die Anzahl der Bits, welche fur die Codierung 
des jeweiligen Mittelwertes in einem Subgebiet (durch Nachschauen in den Huffmantabellen) akkumuhert wird, 
zuzuglich der Anzahl der Bits fur den Quadtreecode und die Anzahl der Bits zur Codierung des entsprechenden 
Bewegungsvektors. 10 

Es hat sich herausgestellt, daB durch diese direkte Minimierung der lnterframe-Information, wie vorgehend 
geschildert, noch einmal eine Einsparung an Bits von ca. 20% erreicht werden konnte. Dies erklart sich daraus. 
daB nun auch die Statistik der Mittelwerte in den einzelnen Subgebieten optimal im Sinne einer minimalen 
Datenrate ausgenutzt wird. Der dafur erforderliche Zusatzaufwand besteht nur in einer Adressierungsoperation 
(Nachschauen in den — sehr kleinen — Huffmantabellen mit Entnahme der Anzahl der Bits fur das Codewort 15 
und entspechende Aufakkumulation in einem Bitzahler). Dies ist sehr einfach zu realisieren und bedeutet einen 
praktisch vernachlassigbaren Zusatzaufwand. Tatsachlich konnen neben den Huffman Codetabellen fur den 
vorgenannten Zweck auch Tabellen gelegt werden, welche die Anzahl der Bits/Codewort enthalten. Bemerkens- 
wert ist noch, daB die Mittelwerte fur unterschiedlich groBe Subgebiete eine unterschiedliche Amplitudenstati- 
stik aufweisen. In kleinen Blocken ist die Streuung sehr groB, wahrend die Streuung bei wachsender BlockgroBe 20 
stark abnimmt. Deshalb wird fur jede BlockgroBe eine eigene Huffmantabelle eingesetzt Die Huffmantabellen 
sind sehr kurz. So ergibt sich bei einer BlockgroBe von 16x16 beispielsweise nur noch eine Huffmantabelle mit 3 
Eintragen. Bemerkenswert ist auch. daB die Statistik der Mittelwerte weitgehend unabhangig vom Szenenmate- 
rial ist, d. h. wurden die Huffman-Tabellen fur Szene A entworfen, so sind sie auch fur Szene B annahernd 
optimal. Versuche haben ergeben, daB eine Codeanpassung auf eine neue Szene nur eine Verbesserung von ca. 25 
2% bringt. 

Der neue QSDPCM-Codec 

Nachdem im Vorstehenden das QSDPCM-Verfahren bereits hergeleitet und erlautert wurde, wird nun seine 30 
Anwendung in einem Szenencodec erlautert, der in der Simulation erprobt wurde. Zunachst sei jedoch das 
zugrundeliegende QSDPCM-Verfahren nochmals in einem GrobfluBdiagramm zusammengefaBt. Der 
QSDPCM-Codec, welcher in Fig. 7 gezeigt ist, hat einen Gesamtrealisierungsaufwand von nur ca. 300 Millionen 
Festkommaadditionen pro Sekunde zuzuglich der Entscheidungsoperationen und Vergleiche und eignet sich 
aufgrund seiner regelmaBigen Struktur hervorragend fur eine VLSI Reaiisierung auf einem Chip. 35 

GrobfluBdiagramm des QSDPCM-Verfahrens 
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Vxr Suchbereich do: 

Vyc Suchbereich do: 

"h Konstruiere Quadtree fur Verschiebung x.y mit den Beziehungen (4.1), (3.4) und (3.3) 

2. Codiere Quadtree x.y 

3. Codiere Mittelwerte x.y 45 

4. Codiere Bewegungsvektor x $ y ■ 

5. Gesarntfunktion x.y - Quadtreeinformation x,y + I Mittelwert- 
information [x^] + Bewegungsvektorinformation [x t y\ 

6. Suche Minimum [x,y] in der Gesamtinformation [x.y] ^ 

Ausgabe: 1. Optimalen Bewegungsvektor (codiert) 

2. Code des optimalen Quadtree 

3. Codierte Mittelwerte fur die Subgebiete des optimalen Quadtree 

55 

Architektur des QSDPCM-Verfahrens 

Nachfolgend wird eindetaillierter Architekturvorschlag fur das QSDPCM-Verfahren aufgezeigt. Dies ermog- 
licht einerseits ein besseres Verfahren des QSDPCM-Verfahrens und andererseits eine genauere Abschatzung 60 
des Realisierungsaufwandes fur den gesamten auf dem QSDPCM-Verfahren basierenden Codec. Die im folgen- 
den erlauterte Architektur reprasentiert den aktuellen Stand der Simulation und entspricht in alien Details dem 
Verfahren, mit dem Statistiken und Simulationsergebnisse errechnet wurden. 

Fig. 7 zeigt den QSDPCM-Coder, Fig. 8 zeigt den zugehorigen Decoder. Die Funktion der darin enthaltenen 
Blocke wird im folgenden im einzelnen erlautert. Dazu sind zunachst verschiedene Architektur-Grundelemente 65 
(Basiszellen) erforderlich, die in Fig. 9 gezeigt und definiert sind. Fig. 10 zeigt die Detailschaltung des 2*2 Mean 
Prozessors. Dieser Prozessor generiert fur einen 16*16 Block die 2*2 Mittelwerte der Bilddifferenzen zwischen 
dem zu codierenden Bild und dem Bildspeicherinhalt und schreibt das Ergebnis dieser Operation in einem Fast 
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RAM Zwischenpuffer der G roQe 64°8 Bit. Diese Operation muB fur jede Verschiebung im Suchbereich durchge- 
fuhrt werden. Die Operation benotigt bei dieser Architektur insgesamt 1 6 Taktzyklen. 

Die weitere Verarbeitung dieser Mittelwerte erfolgt nun in der QSDPCM Central Processing Unit vergl. 
Fig. 1 1. Schritthaltend mit dem Mean-Prozessor mussen hier die in einem Fast RAM bereitgestellten Daten auf 

5 weitere ZusammenfaBbarkeit entsprechend dem QSDPCM-Verfahren (vergl. das vorstehende GrobfluBdia- 
gramm) uberpruft und gegebenenfalls zu groBeren durch ihre Mittelwerte hinreichend genau beschreibbaren 
Gebieten zusammengefaBt werden. Fig. 12 verdeutiicht nochmals die Funktion des QSDPCM-Verfahrens. Im 
Schritt 1 werden zunachst die 2*2 Blocke auf weitere ZusammenfaBbarkeit uberpruft (16 Taktzyklen). In 
Schritt 2 werden die 4*4 Blocke auf ZusammenfaBbarkeit uberpruft (4 Taktzyklen) und schlieBlich wird im 

jo 3. Schritt noch die ZusammenfaBbarkeit der 8*8 Blocke zu einem 16*16 Block (1 Taktzyklus) gepruft Im 
Gegensatz zum Mean-Prozessor, welcher mit nur 16 Taktzyklen auskommt, benotigt man bei der QSDPCM- 
CPU eine Gesamtrechenzeit von 14 +4 + 1 =21 Taktzyklen pro verschobenem 16*16 Block. Die Rechenzeit der 
QSDPCM-CPU ist also bestimmend. da Mean-Prozessor und QSDPCM- Prozessor zeitlich iiberlappt arbeiten. 
Das Fast RAM ist doppelt (als Wechselpuffer) ausgelegt Der Mean-Prozessor hat 21 - 16 = 5 Wait-Zyklen. 

ts Dazu sei hier noch besonders darauf hingewiesen, daB wahrend der schnellen Suchprozedur kein Ruckschreiben 
von Ergebnissen aus dem Fast RAM in den Bildspeicher erforderlich ist. 

Nun bietet sich ein gutes Zusammenspiel zwischen dem maximal berechenbaren Suchbereich und dem 
Bildinkrement an, wenn man berucksichtigt daB stark bewegte Bilder immer auf ein hdheres Bildinkrement 
fuhren. Der Prozessor hat in solchen Fallen sehr viel mehr Zeit und kann groBere Suchgebiete abarbeiten. Es ist 

20 aber auch zweckmaBig, bei hoherem Bildinkrement den Suchbereich zu vergroBern, da sich die Objekte ja dann 
bereits weiter bewegt haben konnen. Diese Eigenschaft erhalt man bei der vorgeschlagenen Architektur ohne 
Zusatzaufwand wie folgt: Zunachst muB dafur gesorgt werden, der Motion Vector Generator (Displacement 
Adressgenerator) einen "Spiralscan" ausgibt, vergl. Fig. 31. 

Legt man nun ein Bildformat von 352*288 Pixel (Luminanz)+ 176*288 Pixel (Chrominanz) mit 25 Hz Bild- 

25 wechselfrequenz zugrunde und wahlt man eine synchrone Taktrate von 25 MHz fur den Prozessor, so konnen 
pro Originalbild fur jeden 16*16 Block 80 Verschiebepositionen abgearbeitet werden. Fur diese Berechnung 
wurde eine Anzahl von 594 16° 16 Blocken (CIF inklusive Chrominanz, wie oben bereits angegeben) und eine 
Bildwechselfrequenz von 25 Hz angenommen. Damit ergeben sich also in Abhangigkeit vom Bildinkrement die 
folgenden Suchbereiche: 

30 _ 

Bildinkrement Anzahl der Suchschritte entspricht Suchbereich 



1(25 Hz) 80 +/-4 pixel 

35 2(12,5 Hz) 160 + /-6pixel 

3(8,33 Hz) 240 + /-8pixel 

4(6,25 Hz) 320 + /-9pixel 

5(5 Hz) 400 +/- 10 pixel 

40 

Es fallt auf, daB fur jedes Bildinkrement die Anzahl der moglichen Suchschritte nicht direkt mit der erforderii- 
chen Anzahl von Suchschritten fur einen entsprechenden Suchbereich ubereinstimmt Der auBere "Ring" des 
Suchbereichs ist also in jedem Fall nicht vollstandig besetzu Hier ist es zweckmaBiger, anstelle des einfachen 
Spiralscan einen "Lawinenscan" einzusetzen t bei dem die Adressgenerierung in einer Weise vorgenommen wird, 

45 daB die noch moglichen Suchpositionen am auBeren Ring des Suchbereichs in etwa aquidistant besetzt sind. Die 
Realisierung des "Lawinenscan" ist nicht aufwendiger als die des einfachen Spiralscaa da die Adressenfolge 
zweckmaBigerweise aus einem linear uber einen Zahler adressierten PROM abgerufen wird. 

Die beiden Blocke Mean Prozessor (Fig. 10) und QSDPCM-CPU (Fig. 11) beinhahen bereits den gesamten 
Aufwand an arithmetischen Operationen zur Ausfuhrung des QSDPCM-Verfahrens. Fig. 12 erlautert die Funk- 

50 tion der Quadtree Construction Logic. Der Quadtree wird standardmaBig mit einem Code mit variabler Wort- 
lange codiert (vergl. ebenfalls Fig. 12). 

Fig. 14 zeigt die Bitcount Logik und den Huffman-Coder. Der Huffman-Coder enthalt 4 Codetabellen (jeweils 
65 Eintrage)_fur die zu codierenden Differenzbildmittelwerte in den 2*2, 4°4 und 16*16 Blocken, sowie die 
Huffman-Tabelle fur die Codierung der Bewegungsvektoren mit 400 Eintragen. Es wird nur ein Huffman-Coder 

55 benotigt, der auf die (langsamen) Tabellen zugreift. Jeder Huffman-Codetabelle ist nun noch eine ebenso groBe 
Tabelle zugeordnet, welche als Eintrag die Anzahl der Bits fur das entsprechende Codewort enthalt Auf diese 
Tabellen muB wahrend des Full Search-Suchvorganges schnell zugegriffen werden. Fur jeden Verschiebungs- 
vorschlag (Vektorhypothese) im Suchbereich kann somit die Anzahl der Bits, die sich fur die Codierung der 
Interframe-Information ergeben wurde, berechnet werden, ohne daB jedoch tatsachlich codiert wird Die Codie- 

60 rung erfolgt nur fur die optimale Verschiebung, d. h. fur jene Verschiebung, fur die die gesamte Interframe-Infor- 
mation ein Minimum annimmt. Dies ist ein wesentliches Merkmal des QSDPCM-Verfahrens. Der Code fur die 
Interframe-Information eines 16*16 Blocks wird schlieBlich im Multiplex an den Ausgangspuffer weitergeleitet. 

Nach so erfolgter Codierung wird der bearbeitete 16*16 Block im Bildspeicher aktualisiert. Dabei ist es 
wichtig zu beachten, daB das aktualisierte Bild im Bildspeicher wiederum nur durch seine 2*2 Mittelwerte 

65 reprasentiert werden darf. Die Mittelwertbildung muB unbedingt mit dem vom Mean Prozessor auf das Ein- 
gangsbild angewendeten Blockraster ubereinstimmen, da nur so das Anwachsen von hochfrequenten Storungen 
im Bildspeicher verhindert wird. 

Fig. 1 5 zeigt die Organisation des Bildspeichers. Beim CIF-Format gilt: NSPA = 352, NZEI = 288. 
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Fig. 13 zeigt die Ausfuhrung des Quamisierers fur die Blockdifferenzen. Es wird nur eine Aussteuerung von 
+ / — 96 zugelassen. Dariiber hinausgehende Werte werden begrenzL Dies ist ein vdllig ausreichender Wertebe- 
reich, wie Versuche gezeigt haben. Dieser beschrankte Wertebereich wird auch in den Prozessoren bereits 
genutzu Hier wird die Pixeldifferenz nicht mit 9 Bit, sondern nur mit 8 Bit dargestellt(Begrenzung bereits in den 
4-lnput-Addern). 5 

Die konstante Kanalrate am Ausgang des Coders erreicht man uber einen Puffer mit variabler Frame-Rate, 
d. h. der Coder halt die Bildquaiitat fest und regelt die Datenrate durch Weglassen einer variablen Anzahl von 
Eingangsbildern. Dieses Konzept fuhrt auf einen auBerst einfachen Pufferregier. Der Pufferspeicher faBt maxi- 
mal 25 codierte Bilder (t Sekunde). Dies wird jedoch nur beim Bildaufbau erreicht Da der Pufferspeicher als 
echtes FIFO arbeitet, ist die Verzogerung abhangig von der Anzahl der weggelassenen Eingangsbilder und (0 
betragt im gunstigsten Fall nur 1/25 Sekunde. Dieser Fall (kein Bild weggelassen) wird beispielsweise bei der 
Testsequenz "SIMPLE" mehrmals erreicht. 



Simulationsergebnisse 



Patentanspruch 



Hierzu 15 Seite(n) Zeichnungen 



15 



AbschlieQend werden einige Simulationsergebnisse aufgezeigt Fig. 20 zeigt die Anzahl der ausgelassenen 
Bilder pro ubertragenem Bild fur die beiden Testsequenzen "SIMPLE'' und "MISS AMERICA". In Fig. 19 sind 
die zugehorigen Veriaufe des Mean Squared Error (MSE) dargestellt Es fallt auf. dafl bei der Sequenz "MISS 
AMERICA" mehr Bilder ausgelassen werden mussen als im Falle von "SIMPLE". Ursachen hierfur sind die vdllig 
unterschiedlichen Eigenschaften der beiden Testsequenzen. "SIMPLE" weist einen sehr viel hoheren Detailge- 20 
halt und auch wesentlich detailreichere bewegte Objekte auf als "MISS AMERICA". Andererseits hat "MISS 
AMERICA" einen hoheren Bewegtanteil verursacht durch ein groBes, detailarmes Objekt, das sich zudem kaum 
vom Hintergrund abhebt Die bewegungskompensierten Differenzbilder, welche letztendlich die zu codierende 
Interframe-lnformation darstellen, weisen im Falle von "SIMPLE" annahernd ideale, sehr hochfrequente Linien- 
strukturen an den Randern der bewegten Objekte und an den bewegten Strukturkomponenten auf. Die Testse- 25 
quenz "SIMPLE" eignet sich deshalb sehr gut fur die Codierung mit dem neuen QSDPCM-Verfahren. Weniger 
gute Ergebnisse wurden bei der Sequenz "MISS AMERICA" erzielt Da sich hier das bewegte Objekt kaum 
sichtbar vom Hintergrund abhebt, und auch sonst keine detailreichen bewegten Strukturen auftreten, ist auch 
das bewegungskompensierte Differenzsignal wesentlich weniger hochfrequent und wesentlich hoher ortlich 
korreliert als im Falle von "SIMPLE". Trotz des niedrigen MSE zeigt das QSDPCM-Verfahren im Falle von 30 
"MISS AMERICA" eine schlechtere subjektive Bildquaiitat in den detail- und kontrastarmen bewegten Gebie- 
ten, wahrend Gesicht und Augen der Testperson sehr scharf und naturlich dargestellt werden. 

Die vorliegende Erfindung ist nicht allein zur Codierung von digitalen Fernsehsignalen geeignet, sondern 
beispielsweise auch anwendbar auf die Detektion bewegte Objekte, beispielsweise fur Intrusionsschutzanlagen. 



35 



Verfahren zur Datenreduktion fur Videosignale bestehend aus einer zeitlichen Folge digitaler Bilder auf der 
Grundlage der Differenz-Puls-Code-Modulation mit Bewegungskompensation, wobei 

a) Differenzbilder als Quadtree-Strukturen codiert werden. 40 

b) Bewegungsvektoren dadurch bestimmt werden, daB in einem der Bilder fur die Differenzbilder 
Gebietsverschiebungen durchgefiihrt werden, die Kodierung fiir jede Gebietsverschiebung vollstandig 
durchgefuhrt wird, die Zahl der Bits bestimmt wird, die nach der Kodierung entstanden ist und als 
Bewegungsvektor fur eine Gebietsverschiebung derjenige bestimmt wird, fur den die Zahl der Bits 
nach der jeweiligen Kodierung minimal ist. 45 



50 
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